Training LLMs for Multi-Agent Collaboration with Verifiable Information Rewards
用可验证信息奖励训练多智能体协作 LLM
🧭 多智能体协作训练 · 可验证信息奖励 ★ 深度解读
Arizona State University · University of Houston · The Ohio State University · Johns Hopkins University
提出 CoSIR，在可验证评分表环境中用团队 surprisal 减少作为信息奖励，训练 LLM 分享/请求/使用信息，迁移到 7 个未见协作任务
📌 工作参考价值（4 点）
- 在多 Agent 搜推系统中，不要只用最终点击/转化奖励整条对话；可在离线、信息完全可知的沙盒中构造“商品属性/用户特征分散在不同 Agent”的任务，用信息增益（如对正确排序结果的团队后验概率提升）作为消息奖励，训练 Agent 主动分享缺失特征、请求关键信息。
- 奖励分配要细粒度到 span/属性级：对消息中的实体-属性-值三元组做解析和验证，只有正确且有依据的分享给正奖励，重复、编造给惩罚，避免有效信息和话术得到相同信号。
- 多智能体协作训练容易损耗通用能力，可加 reference-model KL penalty 和回放通用 prompt 数据；在业务模型上做专项协作微调时尤其重要。
- 评估 Multi-Agent 系统时，除了最终业务指标，引入 MAST 这样失败分类（忽略队友输入、未澄清、验证缺失），定位瓶颈是信息共享还是信息利用，再进行针对性训练。